Có rất ít thông tin về Hideyoshi trước năm 1570, khi ông bắt đầu được nhắc đến trong những thư tịch còn sót lại. Tự truyện của ông bắt đầu năm 1577 nhưng Hideyoshi hiếm khi nói về quá khứ của mình. Theo lời truyền miệng dân gian, ông được sinh ở nơi ngày nay là Nakamura-ku, Nagoya (vào thời điểm đó là Huyện Aichi, tỉnh Owari), và là quê hương của gia tộc Oda. Ông không thuộc dòng dõi samurai mà là con trai của một nông dân tên là Yaemon[1]. Ông không có họ. Thay vào đó, tên thời thơ ấu của ông là Hiyoshi-maru ("Tặng phẩm của Mặt trời"), mặc dù có thể đó chỉ là một trong các dị bản về ông.

Trong thời thơ ấu, Hideyoshi có biệt danh "Saru", nghĩa là "khỉ" vì ông hay nghịch dại và leo cây. Khi trưởng thành và giành được những thứ bậc cao hơn, cho phép ông có thể đổi tên của mình.

Theo Maeda Toshiie và nhà truyền giáo châu Âu Luis Frois, Hideyoshi là một người sáu ngón, với 2 ngón cái trên bàn tay phải. Ông không cắt bỏ ngón cái thừa ra như những người Nhật khác trong thời kỳ đó thường làm.

Nhiều huyền thoại cho rằng Hideyoshi đã được gửi đến chùa khi còn nhỏ, nhưng ông không chịu đi tu mà dấn thân chu du thiên hạ. Dưới cái tên Kinoshita Tōkichirō (木下 藤吉郎), ông đầu tiên về trướng của gia tộc Imagawa như một nô bộc của lãnh chúa địa phương Matsushita Kahei (松下之綱). Ông đi suốt quãng đường đến lãnh địa của Imagawa Yoshimoto, daimyo của tỉnh Suruga, và phục vụ ở đó một thời gian để tránh phải trả khoản tiền Matsushita Yukitsuna nhờ giữ hộ.